to be a millstone round (smb.'s) neck

Общая лексика: быть камнем на шее (у кого-л.)